Problema Cientifico¶
En los años de la pandemia, en los Estados Unidos de América, el comportamiento del uso de tarjetas de crédito ha variado bastante. El promedio de la deuda de tarjeta de crédito creció en 52% entre el 2020 y el 2019, sin embargo, este porcentaje ha caído significativamente en el 2020 (ValuePenguin) (Household Debt and Credit Report, NewYorkFed). Este proyecto pretende utilizar conceptos y metodos de Data Science para predecir que tipo de clientes tienden a caer en impago basandose en los datos disponibles en el archivo UCI_Credit_Card.
El objetivo de este proyecto es crear modelos de aprendizaje automático que permita predecir qué tipo de clientes podrán caer en impago, o no. Para esto se cuenta con un conjunto de datos que contiene información sobre pagos predeterminados, factores demográficos, datos crediticios, historial de pagos y extractos de cuentas de clientes de tarjetas de crédito en Taiwán desde abril de 2005 hasta septiembre de 2005.
Objetivos¶
Generales:
- Identificar a los tipos de clientes que pueden caer en impago
Especificos:
- Identificar que variable(s) tienen el mayor impacto en las deudas de tarjeta de credito
- Desarrollar modelos vistos en clase y predicciones sobre los clientes con deuda de tarjeta de credito
- Identificar a que se debe el comportamiento que demuestran los porcentajes de deuda en los ultimos años
Analisis Exploratorio Preliminar¶
Descripcion del dataset como estaba:
Hay 25 variables (22 cuantitativas, 3 categoricas):
- ID: ID de cada cliente
- LIMIT_BAL: cantidad del crédito otorgado en dólares NT (incluye crédito individual y familiar / suplementario
- SEX: Género (1 = masculino, 2 = femenino)
- EDUCATION: (1 = estudios de posgrado, 2 = universidad, 3 = bachillerato, 4 = otros, 5 =desconocidos, 6 = desconocidos)
- MARRIAGE: Estado civil (1 = casado, 2 = soltero, 3 = otros)
- AGE: Edad en años
- PAY_0: Estado de reembolso en septiembre de 2005 (-1 = pago debidamente, 1 = retrasoen el pago durante un mes, 2 = retraso en el pago durante dos meses,... 8 = retraso en elpago durante ocho meses, 9 = retraso en el pago durante nueve meses o más)
- PAY_2: Estado de reembolso en agosto de 2005 (escala igual a la anterior)
- PAY_3: Estado de reembolso en julio de 2005 (escala igual a la anterior)
- PAY_4: Estado de reembolso en junio de 2005 (escala igual a la anterior)
- PAY_5: Estado de reembolso en mayo de 2005 (escala igual a la anterior)
- PAY_6: Estado de reembolso en abril de 2005 (escala igual a la anterior)
- BILL_AMT1: Monto de la factura en septiembre de 2005 (dólar NT)
- BILL_AMT2: Monto de la factura en agosto de 2005 (dólar NT)
- BILL_AMT3: Monto de la factura en julio de 2005 (dólar NT)
- BILL_AMT4: Monto de la factura en junio de 2005 (dólar NT)
- BILL_AMT5: Monto de la factura en mayo de 2005 (dólar NT)
- BILL_AMT6: Monto de la factura en abril de 2005 (dólar NT)
- PAY_AMT1: Monto del pago anterior en septiembre de 2005 (dólar NT)
- PAY_AMT2: Monto del pago anterior en agosto de 2005 (dólar NT)
- PAY_AMT3: Monto del pago anterior en julio de 2005 (dólar NT)
- PAY_AMT4: Monto del pago anterior en junio de 2005 (dólar NT)
- PAY_AMT5: Monto del pago anterior en mayo de 2005 (dólar NT)
- PAY_AMT6: Monto del pago anterior en abril de 2005 (dólar NT)
- default.payment.next.month: incumplimiento de pago al mes siguiente (1 = sí, 0 = no)
In [1]:
import pandas as pd
import numpy as np
from pandas_profiling import ProfileReport
import seaborn as sn
import matplotlib.pyplot as plt
from quickda.clean_data import *
from quickda.explore_data import *
from quickda.clean_data import *
In [14]:
df = pd.read_csv("UCI_Credit_Card.csv")
df.head()
Out[14]:
In [15]:
explore(df, method="summarize")
Out[15]:
In [4]:
profile = ProfileReport(df, minimal=True)
profile
Out[4]:
Limpieza¶
Estandarizar nombres de columnas¶
In [16]:
df = clean(df, method = "standardize")
df.head()
Out[16]:
Cambiar a tipo categorica las variables adecuadas¶
In [17]:
to_categoric = ["sex", "education", "marriage",
"pay_0", "pay_2","pay_3", "pay_4", "pay_5","pay_6","default.payment.next.month"]
In [18]:
df = clean(df, method = 'dtypes', columns = to_categoric,
dtype='category')
In [19]:
df = df.rename(columns = {'pay_0': 'pay_1',}, inplace = False)
Revision de cambios¶
In [20]:
explore(df, method="summarize")
Out[20]:
Eliminando columna de Id¶
In [21]:
df = clean(df, method = 'dropcols', columns = ['id'])
Cambiando a solo un valor desconocido los valores 0,5,6 de educacion¶
In [22]:
df = clean(df, method = "replaceval",
columns = ["education"],
to_replace = [0,5,6],
value = 5)
Cambiando el valor 0 a 3 (otros) en marrige¶
In [23]:
df = clean(df, method = "replaceval",
columns = ["marriage"],
to_replace = [0],
value = 3)
Aclaracion sobre los valores -2 y 0 de las columans pay¶
Estos valores si tienen un significato en el dataset con respecto a la realizacion de los pagos por lo que no se pueden modificar a nulo.
In [24]:
correlation = df.corr()
plt.figure(figsize = (13, 10))
sn.heatmap(correlation, annot=True)
plt.show()
Obtener columna de bill_amt con valores promediados¶
In [25]:
dfSimp = df
In [26]:
promedio = (dfSimp["bill_amt1"]+dfSimp["bill_amt2"]+dfSimp["bill_amt3"]
+dfSimp["bill_amt4"]+dfSimp["bill_amt5"]+dfSimp["bill_amt6"])/6
dfSimp["prom_bill_amt"] = promedio
In [27]:
dfSimp = clean(dfSimp, method = 'dropcols', columns = ['bill_amt1',"bill_amt2","bill_amt3","bill_amt4","bill_amt5","bill_amt6"])
Cambiando de orden columnas¶
In [28]:
cols = ['limit_bal', 'sex','education','marriage','age','pay_1','pay_2','pay_3',
'pay_4','pay_5','pay_6','prom_bill_amt','pay_amt1','pay_amt2','pay_amt3','pay_amt4','pay_amt5',
'pay_amt6','default.payment.next.month']
In [29]:
dfSimp = dfSimp[cols]
Analizar nuevo dataset¶
In [30]:
correlation = dfSimp.corr()
plt.figure(figsize = (13, 10))
sn.heatmap(correlation, annot=True)
plt.show()
In [31]:
explore(dfSimp, method="summarize")
Out[31]:
In [32]:
#Creacion de graficas para visualizar cada columna del dataset
dfSimp.hist(figsize=(30, 25))
Out[32]:
Datos Atipicos¶
In [39]:
dfSimp = clean(dfSimp, method='outliers', columns=["pay_amt1","pay_amt3","pay_amt5"])
In [56]:
dfSimp.index = list(range(0,23241))
In [58]:
explore(dfSimp, method="summarize")
Out[58]:
Despues de eliminar algunos datos atipicos nos quedamos con 23241 observaciones que es alrededor del 77% del data set original, lo que nos parece aun una buena cantidad de elementos con los que trabajar.
Representacion visual de datos cuantitativos¶
In [40]:
#Creacion de graficas para visualizar cada columna del dataset
dfSimp.hist(figsize=(30, 25))
Out[40]:
Visualizacion datos categoricos¶
In [47]:
dfSimp['education'].value_counts().plot(kind='bar', title = "Educacion")
Out[47]:
In [48]:
dfSimp['marriage'].value_counts().plot(kind='bar', title = "Estado civil")
Out[48]:
In [49]:
dfSimp['sex'].value_counts().plot(kind='bar', title = "Sexo")
Out[49]:
In [50]:
dfSimp['default.payment.next.month'].value_counts().plot(kind='bar', title = "Impago")
Out[50]:
In [53]:
pd.crosstab(dfSimp.education, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por educacion")
plt.xlabel('Educacion')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
Cruce de variables¶
In [51]:
pd.crosstab(dfSimp.age, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por edad")
plt.xlabel('Edad')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [52]:
pd.crosstab(dfSimp.sex, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por sexo")
plt.xlabel('Genero')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [54]:
pd.crosstab(dfSimp.marriage, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6),title = "Analisis de pago por estado civil")
plt.xlabel('Estado Civil')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [64]:
sns.catplot(x="default.payment.next.month", y="limit_bal", data=dfSimp)
Out[64]:
In [70]:
sns.catplot(x="education", y="limit_bal", data=dfSimp)
Out[70]:
In [71]:
sns.catplot(x="default.payment.next.month", y="prom_bill_amt", data=dfSimp)
Out[71]:
Descripcion y conclusion final de los datos tras metodos de limpieza¶
El conjunto de datos tras las operaciones de limpieza cuenta con 23241 observaciones y 19 variables. De estas variables:
- 10 son categoricas: sex, education, marriage, pay_1 ... pay_6, default.payment.next.month
- 9 son cuantitativas: limit_bal, age, prom_bill_amt, pay_amt1 ... pay_amt6
Al analizar las variables cualitativas podemos notar ciertas caracteristicas imporantes como:
- El nivel de educacion que predomina en los datos es universidad seguido de postgrado.
- El estado civil predominante es soltero
- El sexo mas presente es el femenino
De las variables cuantitativos podemos observar lo siguiente:
- La media de edad de las personas es de 35 años.
- La media de cantidad de credito es alrededor de 143000.
- Los datos de pay_amt estan muy sesgados, cuentan con altos valores atipicos
Al cruzar variables podemos observar lo siguiete:
- Los que mas probablemente paguen su deuda son personas alrededor de 23 a 36 años.
- Hay un buen porcentaje de impago en todas las edades.
- El estado civil casado presenta una cantidad de impagos muy similar a la de soltero a pesar de tener menos observaciones.
- El sexo femenino presenta tener una cantidad de impagos muy similar al masculino a pesar de tener mas observaciones.
- Gran cantidad del credito esta en un intervalo de 0 a 500000 valores arriba de esto pueden considerarse atipicos
- Los niveles de educacion estudios de posgrado, universidad, bachillerato sueles pedir un valor mas alto de credito que otros y desconocido.
- Gran cantidad deñ monto de la factura general de los meses esta entre 0 a 300000, sin embargo, para el caso de impago hay valores atipicos muy arriba de esta cifra y hay datos negativos